TRWH: A Text-Driven Random Walk Heterogeneous GNN for Semantic-Aware Sparse Recommendation
文本驱动的随机游走异质图网络用于语义感知稀疏推荐
🧭 LLM+异质GNN稀疏推荐 · 评分预测 ★ 深度解读
The University of Sydney · Nankai University
融合LLM用户/物品画像与异质GNN，通过随机游走增强稀疏图，发现LLM嵌入对图增强敏感
📌 工作参考价值（4 点）
- LLM画像生成流程可复用：使用精心设计的系统提示和推理引导，让LLM（如Llama-3.2-3B）为每个用户和物品生成结构化文本描述，再通过指令微调的embedder（如instructor-xl）转为稠密向量，可增强召回或排序模型的语义特征，尤其适合电商中评论、标题等文本丰富的场景。
- 异质图多边类型建模：构建包含评分、评论、购买、同店铺、相似关系等九种边类型的异质图，可迁移至电商推荐中，用于捕获用户行为的多面性，提升冷启动或稀疏交互下的表示学习。
- 谨慎使用图增强与LLM嵌入：实验表明对Word2Vec等传统嵌入，随机游走新增二阶边能提升性能；但对LLM生成的语义向量，图聚合会稀释精细的个性化信号，导致RMSE/MAE变差。业务中若引入LLM特征，需评估图传播是否损害语义独特性，或采用自适应游走策略。
- 按业务目标选择损失函数：MSE训练更关注减少大误差（RMSE更低），适合需要控制极端错误率的场景（如高价值商品评分预测）；但MAE可能不如直接使用ChatGPT的基线。可根据业务侧重的指标调整损失，或采用联合优化。